深度残差收缩网络的完整PyTorch代码 |
您所在的位置：网站首页 › pycharm 收缩代码 › 深度残差收缩网络的完整PyTorch代码 |
深度残差收缩网络的完整PyTorch代码
|
深度残差收缩网络的完整PyTorch代码
1、基础理论
2、PyTorch代码
3、其他代码
1、基础理论
深度残差收缩网络是建立在三个部分的基础之上的，包括残差网络、注意力机制和软阈值化。 1）由于软阈值化是信号降噪算法的常用步骤，所以深度残差收缩网络比较适合强噪、高冗余数据。同时，软阈值化的梯度要么为0，要么为1，这与ReLU激活函数是相似/一致的。
2）由于软阈值化的阈值是通过类似于SENet的注意力机制自适应地进行设置的，深度残差收缩网络能够根据每个样本的情况，为每个样本单独地设置阈值，因此适用于每个样本内噪声含量不同的情况。 3）当数据噪声很弱、没有噪声时，深度残差收缩网络可能也是适用的。其前提是阈值可以被训练成非常接近于0的值，从而软阈值化就相当于不存在了。 4）值得注意的是，软阈值函数的阈值不能太大，否则会导致所有的输出都是0。所以深度残差收缩网络的注意力模块是经过专门设计的，与一般的SENet是存在明显区别的。 该方法的文献来源： M. Zhao, S. Zhong, X. Fu, B. Tang, M. Pecht, Deep residual shrinkage networks for fault diagnosis, IEEE Transactions on Industrial Informatics, vol. 16, no. 7, pp. 4681-4690, 2020. （https://ieeexplore.ieee.org/document/8850096/） 2、PyTorch代码本文的PyTorch代码是在这份代码（https://github.com/weiaicunzai/pytorch-cifar100）的基础上修改得到的，所以要下载这份代码到本地。主要是修改了models/resnet.py（https://github.com/weiaicunzai/pytorch-cifar100/blob/master/models/resnet.py）和utils.py（https://github.com/weiaicunzai/pytorch-cifar100/blob/master/utils.py）的代码。 另一方面，残差收缩网络的核心代码，则是来源于知乎上最前线创作的一篇文章《用于故障诊断的残差收缩网络》（https://zhuanlan.zhihu.com/p/337346575）。 具体地，将resnet.py文件的名称，改为了rsnet.py，意思是residual shrinkage network。修改后的rsnet.py代码如下： import torch import torch.nn as nn class BasicBlock(nn.Module): expansion = 1 def __init__(self, in_channels, out_channels, stride=1): super().__init__() self.shrinkage = Shrinkage(out_channels, gap_size=(1, 1)) #residual function self.residual_function = nn.Sequential( nn.Conv2d(in_channels, out_channels, kernel_size=3, stride=stride, padding=1, bias=False), nn.BatchNorm2d(out_channels), nn.ReLU(inplace=True), nn.Conv2d(out_channels, out_channels * BasicBlock.expansion |
其功能特色包括：
【本文地址】
今日新闻 |
推荐新闻 |